在这项工作中，我们探索如何学习专用的语言模型，旨在学习从文本文件中学习关键词的丰富表示。我们在判别和生成设置中进行预训练变压器语言模型（LMS）的不同掩蔽策略。在歧视性设定中，我们引入了一种新的预训练目标 - 关键边界，用替换（kbir）infifiling，在使用Kbir预先训练的LM进行微调时显示出在Sota上的性能（F1中高达9.26点）的大量增益关键酶提取的任务。在生成设置中，我们为BART - 键盘介绍了一个新的预训练设置，可再现与CATSeq格式中的输入文本相关的关键字，而不是Denoised原始输入。这也导致在关键词中的性能（F1 @ M）中的性能（高达4.33点），用于关键正版生成。此外，我们还微调了在命名实体识别（ner），问题应答（qa），关系提取（重新），抽象摘要和达到与SOTA的可比性表现的预训练的语言模型，表明学习丰富的代表关键词确实有利于许多其他基本的NLP任务。

This work aims to employ natural language generation (NLG) to rapidly generate items for English language learning applications: this requires both language models capable of generating fluent, high-quality English, and to control the output of the generation to match the requirements of the relevant items. We experiment with deep pretrained models for this task, developing novel methods for controlling items for factors relevant in language learning: diverse sentences for different proficiency levels and argument structure to test grammar. Human evaluation demonstrates high grammatically scores for all models (3.4 and above out of 4), and higher length (24%) and complexity (9%) over the baseline for the advanced proficiency model. Our results show that we can achieve strong performance while adding additional control to ensure diverse, tailored content for individual users.

We describe the AGReE system, which takes user-submitted passages as input and automatically generates grammar practice exercises that can be completed while reading. Multiple-choice practice items are generated for a variety of different grammar constructs: punctuation, articles, conjunctions, pronouns, prepositions, verbs, and nouns. We also conducted a large-scale human evaluation with around 4,500 multiple-choice practice items. We notice for 95% of items, a majority of raters out of five were able to identify the correct answer and for 85% of cases, raters agree that there is only one correct answer among the choices. Finally, the error analysis shows that raters made the most mistakes for punctuation and conjunctions.

用木材制成的木材和森林产品，例如家具，是宝贵的商品，就像许多高估的自然资源的全球贸易一样，面临腐败，欺诈和非法收获的挑战。木材和森林产品部门的这些灰色和黑色市场活动不仅限于收获木材的国家，而是在整个全球供应链中扩展，并与非法金融流有关，例如基于贸易的洗钱，记录欺诈，种类标签和其他非法活动。在没有地面真理的情况下，使用贸易数据找到此类欺诈活动的任务可以作为无监督的异常检测问题进行建模。但是，现有的方法在其对大规模贸易数据的适用性方面存在某些缺点。贸易数据是异质的，具有表格格式的分类和数值属性。总体挑战在于数据的复杂性，数量和速度，具有大量实体和缺乏地面真相标签。为了减轻这些方法，我们提出了一种新型的无监督异常检测 - 基于对比度学习的异质异常检测（CHAD），通常适用于大规模的异质表格数据。我们证明，我们的模型CHAD对公共基准数据集的多个可比较基线表现出色，并且在贸易数据的情况下优于它们。更重要的是，我们证明我们的方法减少了假设和努力所需的高参数调整，这在无监督的培训范式中是一个关键的挑战。具体而言，我们的总体目标涉及使用提单贸易记录数据账单来检测可疑的木材运输和模式。在运输记录中检测异常交易可以使政府机构和供应链成分进一步调查。

已经探索了监督机器学习模型的算法追索问题的问题，以提供决策支持系统中更容易解释，透明和健壮的结果。未开发的区域是用于异常检测的算法求程，特别是仅具有离散特征值的表格数据。这里的问题是提出一组反事实，通过潜在的异常检测模型被认为是正常的，以便应用程序可以将此信息用于解释目的或推荐对策。我们提出了一种方法 - 在表格数据（CARAT）中保留异常算法的背景，该方法是有效，可扩展性且不可知的，对基础异常检测模型。 Carat使用基于变压器的编码器模型来通过查找可能性低的特征来解释异常。随后使用异常实例中特征的整体上下文来修改突出显示的功能，从而生成语义相干的反事实。广泛的实验有助于证明克拉的功效。

使用Twitter进行事件检测的小调查。这项工作首先定义了问题陈述，然后总结并整理了解决问题的不同研究工作。